Du corpus vidéo à l'agent expressif. Utilisation des différents niveaux de représentation multimodale et émotionnelle

RÉSUMÉ. Les relations entre émotions et indices multimodaux ont été peu étudiées dans le cadre d’émotions autres que les émotions de base jouées par des acteurs. Dans cet article nous présentons deux expériences permettant d’étudier ces relations par une démarche d’analyse-synthèse. Nous partons d’interviews télévisées montrant des comportements émotionnels naturels. Un protocole et un schéma de codage ont été définis pour les annoter à plusieurs niveaux (contexte, émotion, multimodalité). La première expérience manuelle a permis d’identifier les niveaux de représentation qui interviennent pour faire rejouer ces comportements par un agent expressif. La deuxième expérience fait intervenir une extraction automatique à partir des annotations multimodales. Une telle démarche permet d’apporter des connaissances sur les relations complexes entre émotions et multimodalité.